7月2日,美国国防高级研究计划局(DARPA)对外宣布,由雷声技术公司(据雷声公司公开的信息,其获得880万美刀合同,预计于2025年5月完成研发)、BAE系统公司和诺斯罗普·格鲁曼公司领导的三个研究团队已被选中,在“基于事件的快速神经形态相机和电子学”(FENCE)项目下开发基于事件的红外(IR)相机技术。基于事件的神经形态相机是一类新兴传感器,相对于传统的成像器具有明显的优势。这些先进的模型以异步方式运行,只传输已发生变化的像素的信息。这意味着它们产生的数据要少得多,操作时的延迟和功率也低得多。
“基于事件的快速神经形态相机和电子学”(FENCE)项目Logo
据DARPA微系统技术办公室(MTO)领导FENCE的项目经理惠特尼·梅森(Whitney Mason)博士介绍:“神经形态指的是模仿大脑运作的硅电路,它们提供稀疏的输出、低延迟和高能源效率。基于事件的摄像机在处理稀疏场景时也是在这些原则下运作的,但目前缺乏高级‘智能'来执行更困难的感知和控制任务。”
惠特尼·梅森此前介绍DARPA SBIR:ChemImage实时红外高光谱成像(翻译&字幕 by 防务菌)当前最先进的(SOTA)摄像机在处理那些很少有变化需要追踪的场景时效果很好,图像也相对简单。以一架飞机在晴朗的蓝天中移动的场景为例。SOTA成像器可以很容易地跟踪飞机的运动。然而,在高度杂乱和动态的场景中,它们的能力往往捉襟见肘,这限制了它们在许多军事场景中的使用。FENCE项目试图通过开发和演示验证低延迟、低功耗、基于事件的红外(IR)焦平面阵列(FPA)和一类新的数字信号处理以及学习算法来解决这些问题,使智能传感器能够处理更多的动态场景。来自雷声公司、BAE系统公司和诺斯罗普·格鲁曼公司的团队将致力于开发一种低延迟的异步读出集成电路(ROIC),以及一个与ROIC集成的处理层,以识别相关的空间和时间信号。ROIC和处理层将使一个集成的FENCE传感器能够在低于1.5瓦的功率下运行。
DARPA在2020年10月2日对外发布FENCE项目广泛机构公告,周期设定三个阶段,直到2025年,,当前处于第一阶段
对此,惠特尼·梅森指出:“我们的目标是开发一种‘智能’传感器,它可以智能地减少从相机中传输的信息量,将数据缩小到只考虑最相关的像素。”
FENCE技术最终可以帮助一些军事应用,例如从自主车辆、机器人到红外搜索与跟踪。为了确保广泛的适用性,研究人员还将专注于开发一种灵活、可适应的单一解决方案,以便它可以在各种任务空间中使用。此外,对于卫星和载人航天任务来说,空间杂波已经成为一个日益严重的问题,碰撞的可能性和事件不断增加。这就产生了对更好地探测和跟踪空间物体的迫切需求。澳大利亚西悉尼大学近两年来一直在研究动态视觉传感器与和神经形态算法的融合,为地面和轨道空间成像应用建立新型系统。通过使用生物启发的神经形态相机的望远镜实地试验,其已验证使用相同的光学望远镜配置,在白天和夜间观察时都有能力探测到太空垃圾和卫星。此外,该大学研究团队还演示验证了在日间星体跟踪、高速物体探测以及用于高速和动态自适应光学方面的能力。这项工作中使用的神经形态传感方法提供了一种不同的成像范式,在高速、低功耗的成像应用中具有相当的潜力。神经形态工程试图利用生物学的思想和原理来创建基于硅的硬件和算法,以尝试实现生物学的电源效率、稳健性和速度。在西悉尼大学的国际神经形态系统中心(ICNS),研究团队正在应用这些神经形态的原则和设备来解决现实世界的问题。
西悉尼大学比较基于事件的视觉传感器与传统摄像机记录SpaceX火箭发射(翻译&字幕 by 防务菌)上面这段视频展示了基于事件的视觉传感器,如神经形态相机,对现实世界任务的益处,从SpaceX火箭记录中产生的总数据与从原始记录中模拟的基于变化的事件进行了比较。这是在一个小的裁剪分辨率和完整的原始分辨率下进行的。在原始录像中难以注意到的特征,在基于变化的模拟中清晰可见。
西悉尼大学研究团队将神经形态传感技术应用于空间成像,利用这些传感器提供的完全不同的传感范式,使其能够演示验证目前使用传统天文学相机无法实现的能力。这些能力中的关键是高速检测和跟踪卫星的能力,这是提高业界跟踪和预测卫星和空间碎片运动的能力的一个关键要求。通过研究结果证实,这些设备可以观察到从低地球轨道(LEO)到地球静止轨道(GEO)的这类常驻空间物体(RSO)。重要的是,对这些RSO的观测是在白天和夜间(明暗界线)的条件下进行的,而不需要对相机或光学器件进行修改。
神经形态空间成像相对于传统成像的优势
利用这些传感器中像素的独立性和异步性,在白天对恒星和卫星进行成像的能力为地面光学传感器提供了巨大的能力提升。此外,西悉尼大学研究团队已经表明,这些传感器在运动状态下实际上表现得更好,而且这些传感器的高时间分辨率所提供的独特能力远远超过了仅从传感器的空间分辨率所预期的能力。来将通名&非诚勿扰